Contact Lens for Amazon Connectの感情分析は、どのような言葉がポジティブ、ネガティブと判断されるか調査してみた

はじめに

Contact Lens for Amazon Connect(以降、Contact Lens)の機能の一つに感情分析機能があります。

感情分析機能は、Connectでオペレータと顧客が話している言葉の感情を捉えて分析します。

肯定的、中立的、否定的の３つに分類されます。

例として、以下のように感情分析の結果が表示されます。

具体的な処理内容は、Contact Lens側でAmazon Transcribe を利用して通話を文字起こしされ、Amazon Comprehendを利用して、文字起こしした言葉に対して感情分析されます。

ちなみに、勘違いされやすいですが、発する声色は、感情分析の対象ではありません。文字起こしした言葉(テキスト)のみが対象です。

今回は、コールセンターで使用される言葉のうち、どういった言葉が肯定的、中立的、否定的と判定されるか調査してみました。

テスト結果の後に、調査方法を記載します。

テスト結果

2023年2月23日時点での調査結果です。今後、Amazon Comprehend 認識能力が向上することで、精度が上がる可能性はあります。

感情分析で肯定的、中立的、否定的と判断された言葉が、適切かどうかも私が独断で判定します。

肯定的と判断された言葉

言葉	判定	備考
運がいいです	○
うまくいっております	○
最高です	○
いい日だった	○
ワクワクする	○
ありがとうございます	○
感謝します	○
嬉しいです	○
助かります	○
安心いたしました	○
おめでとうございます	○
動くようになってよかったです	○
きっといいことがあるに違いない	○
満足しています	○
すばらしい	○
お手数をおかけしました	×	中立的、もしくは否定的が正しいです
いい加減してください	×	否定的が正しいです

中立的と判断された言葉

言葉	判定	備考
お願いします	○
いえ大丈夫です	○
寄り添います	○
結構です	○
おっしゃる通りでございます	○
ごもっともでございます	○
貴重なご意見を賜わり	○
よろしければ	○
恐れ入りますが	○
あいにくではございますが	○
ご連絡先を頂戴してもよろしいでしょうか	○
早くしてほしい	×	否定的が正しいです
長時間待ってますよ	×	否定的が正しいです
今後十分注意いたします	×	否定的が正しいです
分からないです	△	どちらかというと否定的が正しいです
わかりません	△	どちらかというと否定的が正しいです

否定的と判断された言葉

言葉	判定	備考
(時間が)もったいない	○
変更できないのはおかしい	○
配送が遅い	○
間違えました	○
すいませんでした	○
破綻します	○
嫌いです	○
きついです	○
大変でした	○
難しいですね	○
大変ご迷惑をおかけしました	○
困っています	○
(話しても)無駄です	○
申し訳ございません	○
大変失礼いたしました	○
誠に恐れいります	○
お待たせいたしました	○
申し上げにくいのですが	○
苦手です	○
わかりかねます	○	「わからないです」 と「わかりません」は、中立的でした

結果のまとめ

感情分析は、精度としては高い方ではないでしょうか？ 一部、「わからないです」は中立的ですが、敬語の「わかりかねます」が否定的と判断されているのは、おかしいですが。。

テスト方法

上記のテスト方法について記載します。

Contact Lensの有効化とコンタクトフロー以外は、以下通りに設定します。

Contact Lensの有効化

AWSマネジメントコンソールのConnectに遷移し、Connectインスタンスの分析ツールから、Contact Lensを有効化にチェックをいれるだけです！

コンタクトフロー

コンタクトフローは、先程の参考記事に、記録と分析の動作を設定をエントリの次に入れるのみです。

記録と分析の動作を設定の設定内容は、下記の通りです。

• 通話記録をオン
• Contact Lensの会話分析を有効
• 音声分析を有効にする
  • 通話後の分析
• 言語は、日本語を設定
  

これで、電話をかけると、テストができます。

Contact Lensの感情分析を利用する際は、よく利用される言葉で、テストすることをおすすめします